Hoạn quan trẻ là Lý Phụ Quốc vốn do Cao Lực Sĩ tiến cử vào hầu hạ thái tử Lý Hanh, lúc đó Lý Hanh đã trở thành Đường Túc Tông thì Phụ Quốc đắc thế, thao túng nội cung. Lý Phụ Quốc muốn toàn quyền quản lý nội cung bèn vu tội cho Cao Lực Sĩ, lưu đày ông tới Vu châu. Thượng hoàng Huyền Tông không còn quyền lực, không giúp được ông.

Tháng 3 năm 762, Cao Lực Sĩ được ân xá trở về kinh. Trên đường về, ông gặp những người đi đày mới biết tin cả thượng hoàng Huyền Tông và vua Túc Tông đều vừa qua đời. Cao Lực Sĩ hướng về phương bắc mà khóc tới trào máu và chết. Năm đó ông 79 tuổi.

Vua mới là Đường Đại Tông thấy ông có công phò trợ Huyền Tông, bèn truy tặng ông làm đại đô đốc Dương châu, bồi táng ở Thái Lăng.